FakeQuantWithMinMaxVarsPerChannel
对输入数据执行按通道(Per-Channel)的逐元素伪量化运算。该算子将输入数据划分为 channel_num 个等长的通道,每个通道根据其对应的最小/最大值(min_val[c] / max_val[c])独立计算缩放因子和零点,进行模拟量化与反量化。
\[channel\_size = \frac{length}{channel\_num}\]
\[\text{对于通道 } c: \quad scale_c = \frac{max\_val_c - min\_val_c}{quant\_max - quant\_min}\]
\[zp\_from\_min_c = quant\_min - \frac{min\_val_c}{scale_c}\]
\[nudge\_zp_c = \text{round} \left( \min \left( quant\_max, \max \left( quant\_min, zp\_from\_min_c \right) \right) \right)\]
\[nudge\_min_c = (quant\_min - nudge\_zp_c) \times scale_c\]
\[nudge\_max_c = (quant\_max - nudge\_zp_c) \times scale_c\]
\[output_{c,i} = \left( \text{round} \left( \frac{\text{clamp}(input_{c,i}, nudge\_min_c, nudge\_max_c) - nudge\_min_c}{scale_c} \right) \right) \times scale_c + nudge\_min_c\]
对称量化(symmetric 为 true 时):
\[max\_val_c = \max(-min\_val_c, max\_val_c), \quad min\_val_c = -max\_val_c\]
- 输入:
input - 输入数据地址。
min_val - 每个通道最小值组成的数组地址。
max_val - 每个通道最大值组成的数组地址。
params - 参数数组,包含以下元素:
params[0]- length,输入数据总长度(需能被通道数整除)。params[1]- quant_min,量化后的整数最小值(例如 0 或 -128)。params[2]- quant_max,量化后的整数最大值(例如 255 或 127)。params[3]- symmetric,是否使用对称量化(bool 类型)。若为 true,则范围调整为关于 0 对称。params[4]- channel_num,通道数量。
core_mask(int, 可选) - 核掩码(仅适用于共享存储版本)。
- 输出:
output - 伪量化后的计算结果地址。
- 支持平台:
FT78NEMT7004
备注
FT78NE 支持:fp32 (fp)
MT7004 支持:fp16 (hp), fp32 (fp)
输入数据的总长度
length必须可以被channel_num整除。每个通道的逻辑(包括 Nudge 零点调整)与单变量版本的伪量化一致。
共享存储版本:
-
void fp_fake_quant_with_min_max_vars_per_channel_s(float *input, float *min_val, float *max_val, float *output, long long *params, int core_mask)
-
void hp_fake_quant_with_min_max_vars_per_channel_s(float16 *input, float16 *min_val, float16 *max_val, float16 *output, long long *params, int core_mask)
C调用示例:
1// MT7004 示例:fp32 类型共享存储多核计算 2#include <stdio.h> 3#include <stdbool.h> 4 5int main(int argc, char* argv[]) { 6 float *input = (float *)0x83002000; 7 float *min_arr = (float *)0x81000000; 8 float *max_arr = (float *)0x82000000; 9 float *output = (float *)0x84000000; 10 int length = 1000; 11 int channel_num = 10; 12 int core_mask = 0b1011; 13 long long params[10]; 14 params[0] = length; 15 params[1] = 0; // quant_min 16 params[2] = 255; // quant_max 17 params[3] = false; // symmetric 18 params[4] = channel_num; 19 fp_fake_quant_with_min_max_vars_per_channel_s(input, min_arr, max_arr, output, params, core_mask); 20 return 0; 21}
私有存储版本:
-
void fp_fake_quant_with_min_max_vars_per_channel_p(float *input, float *min_val, float *max_val, float *output, long long *params)
-
void hp_fake_quant_with_min_max_vars_per_channel_p(float16 *input, float16 *min_val, float16 *max_val, float16 *output, long long *params)
C调用示例:
1// MT7004 示例:fp16 (float16) 类型私有存储单核计算 2#include <stdio.h> 3#include <stdbool.h> 4 5int main(int argc, char* argv[]) { 6 float16 *input = (float16 *)0x10030000; 7 float16 *min_arr = (float16 *)0x10010000; 8 float16 *max_arr = (float16 *)0x10020000; 9 float16 *output = (float16 *)0x10040000; 10 int length = 1000; 11 int channel_num = 10; 12 long long params[10]; 13 params[0] = length; 14 params[1] = 0; // quant_min 15 params[2] = 255; // quant_max 16 params[3] = true; // symmetric 17 params[4] = channel_num; 18 hp_fake_quant_with_min_max_vars_per_channel_p(input, min_arr, max_arr, output, params); 19 return 0; 20}